LLM (Large Language Model) 是一個新興的研究領域,主要是研究如何訓練大型的語言模型,並且利用這些語言模型來解決各種 NLP 問題。LLM 的研究領域包含了語言模型的訓練、語言模型的壓縮、語言模型的部署、語言模型的應用等等。LLM 的研究領域非常廣泛,而且也是一個非常新的研究領域,因此在這個領域中有非常多的研究問題等待著大家去探索。
LLMOps,與 MLOps 類似,是一個將 LLM 模型部署到實際環境中的一個流程。LLMOps 的目的是要將 LLM 模型部署到實際環境中,並且讓這個模型可以在實際環境中運作。LLMOps 的流程包含了模型的訓練、模型的壓縮、模型的部署、模型的應用等等。LLMOps 的流程與 MLOps 的流程非常類似,但是在實際操作上有一些細節上的差異。
由上述的 MLOps 流程來看 LLMOps,LLMOps 與 MLOps 的相同處包括 DevOps、DataOps 和 ModelOps,不同處在於 LLMOps 會將 DevOps、DataOps 和 ModelOps 的流程,1) 分別對應到 Low-Code、Low-Code 和 Low-Code 的流程,而不是使用程式碼來實現。 2) 在 Evaluation、Deployment、Monitoring 階段,會使用 Human feedback 來進行模型的評估和部署。 3) 資料集的準備與資料工程,會根據不同使用情境,與 MLOps 稍有差異。